<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>数据采集与管理</title>
  <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0, user-scalable=no">
  <script src="https://shen300200.gitee.io/cdn/jquery/jquery-1.12.4.min.js"></script>
  <style>
    body{ font-size: 14px; }
    .list a{ color: green; font-weight: bold; }
    .list a[er]{ color: red;}
  </style>
</head>
<body>
<h1>数据采集与管理</h1>
<ol class="list">  
  <li>  
  DeepWeb爬虫体系结构包含六个基本功能模块和两个爬虫内部数据结构，其中（<a>LVS 表</a> ）表示标签/数值集合，用来表示填充表单的数据源。
  </li>
  <li>（<a>深度优先策略 </a>）的基本方法是按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止。</li>
  <li>以下不属于HTTP协议的主要特点的是（<a er>有状态</a>）。</li>
  <li>按照（<a>广度优先策略</a>）爬取的网页内容根据目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行，当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。
</li>
  <li>PageRank优先策略常用于（<a>增量式网络爬虫</a>）。</li>
  <li>（<a>增量式网络爬虫</a>）是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。</li>
  <li>增量式爬虫中的（<a>统一更新法</a>）指的是：爬虫以相同的频率访问所有网页，不考虑网页的改变频率。</li>
  <li>以下哪个属于HTTP请求信息（<a>User-Agent </a>）。</li>
  <li>HTTP请求中的（<a>Authorization</a>）头域的内容包含发出请求的用户信息。</li>
  <li>深层网络（Deep Web ）爬虫爬行过程中最重要部分就是（<a>表单填写</a>）。</li>
  <li>HTTP请求中的（<a>User-Agent</a>）字段可能为类似"Mozilla/5.0(iPhone;U;CPUiPhoneOS4_3_3likeMacOSX;en-us)AppleWebKit……”这样的信息。</li>
  <li>关于各种网络爬虫，以下说法不正确的是（<a er>增量式爬虫在需要的时候爬行新产生或发生更新的页面 ，并重新下载所有页面</a>）。</li>
  <li>以下对于爬行策略的说法，不正确的是（<a er>深度优先策略不足之处在于需较长时间才能爬行到目录层次较深的页面</a>）。</li>
  <li>GET提交表单时，以（<a>?</a>）符号分割URL和传输数据。</li>
  <li>HTTP请求中的Connection:keep-alive表示（<a>客户端到服务器端的连接持续有效</a>）</li>
  <li>如果HTTP请求的响应信息是404，则应采取下列哪项措施（<a>再次核对请求的页面地址是否正确</a>）。</li>
  <li>HTTP请求的（<a>POST</a>）方法是在Request-URI所标识的资源后附加新的数据。</li>
  <li>由HTTP客户端发起一个请求，建立一个到服务器指定端口的TCP连接，这个端口默认是（<a>80</a>）端口。</li>
  <li>在HTTP请求中，通过（<a>GET</a>）方法发送的数据，会放在URL之后，以?分割URL和传输数据，参数之间以&相连。</li>
  <li>聚焦爬虫爬行策略实现的关键是评价（<a>页面内容和链接 </a>）的重要性，不同的方法计算出的重要性不同，由此导致链接的访问顺序也不同。</li>
  <li>HTTP请求中（<a>User-Agent</a>）头域的内容包含发出请求的用户信息。</li>
  <li>增量式爬虫中的（<a>个体更新法</a>）指的是：爬虫根据个体网页的改变频率来重新访问各页面。</li>
  <li>HTTP请求中的（<a>POST</a>）方法要求被请求服务器接受附在请求后面的数据，常用于提交表单。</li>
  <li>深层网络爬虫的基于网页结构分析的表单填写法一般将网页表单表示成（<a>DOM树</a>），从中提取表单各字段值。</li>
  <li>发出的HTTP请求由三部分组成，分别是：（<a>请求行、消息报头、请求正文</a>）。</li>
  <li>HTTP请求中的（<a>TRACE</a>）方法用于请求服务器回送收到的请求信息，主要用于测试或诊断。</li>
  <li>网络数据采集一般是通过（<a>网络爬虫</a>）或网站公开API等方式从网站上获取数据信息。</li>
  <li>HTTP请求中的（<a>Referer</a>）头域允许客户端指定请求uri的源资源地址，这可以允许服务器生成回退链表，可用来登陆、优化cache等。</li>
  <li>（<a>深层网络爬虫</a>）爬行过程中最重要部分就是表单填写及处理。</li>
  <li>以下哪个HTTP响应状态表示客户端错误（<a>403</a>）。</li>
  <li>以下哪个不属于HTTP请求信息（<a er>Expires </a>）。</li>
  <li>HTTP请求中的（<a>Accept </a>）头域代表发送端（客户端）希望接受的数据类型。</li>
  <li>HTTP响应中的（<a>Date，Expires</a>）等分别用于指定消息发送和文档过期的时间。</li>
  <li>Deep Web 爬虫体系结构中的LVS用于（<a>表示填充表单的数据源</a>）。</li>
  <li>以下关于深度优先的爬行策略的说法，不正确的有（<a er>处于较浅目录层次的页面都可以首先被爬行</a>）。</li>
  <li>（<a>增量式网络爬虫</a>）实现的两个主要目标为保持本地页面集中存储的页面为最新页面和提高本地页面集中页面的质量。</li>
  <li>对发出的HTTP请求应答的服务器上存储着一些资源，比如HTML文件和图像。我们称这个应答服务器为（<a>源服务器</a>）。</li>
  <li>（<a>深层网络爬虫</a>）采集的目标是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。</li>
  <li>HTTP中 （<a>OPTIONS</a>）方法可用于请求查询服务器的性能，或者查询与资源相关的选项和需求。</li>
  <li>如果要采集指定的数据，则需要使用到（<a>聚焦网络爬虫</a>），因为它只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快。</li>
  <li>通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口的HTTP请求。我们称这个客户端叫（<a>用户代理</a>）。</li>
  <li>（<a>增量式网络爬虫</a>）只会在需要的时候爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。</li>
  <li>（<a>深度优先
</a>）的搜索策略是指按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止，比较适合垂直搜索或站内搜索。</li>
  <li>（<a>通用网络爬虫</a>）又称全网爬虫，爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。</li>
  <li>（<a>聚焦网络爬虫</a>），又称主题网络爬虫，是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。</li>
  <li>增量式爬虫中的（<a>基于分类的更新法</a>）指的是：爬虫根据网页改变频率将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频率访问这两类网页。</li>
  <li>（<a>基于目标数据模式</a>）的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。</li>
  <li>以下哪个属于深层网页（<a>用户注册后内容才可见的网页</a>）</li>
  <li>HTTP请求的（<a>POST</a>）方法是在Request-URI所标识的资源后附加新的数据。</li>
  <li>如果要采集指定的数据，则需要使用到（<a>聚焦网络爬虫</a>），因为它只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快。</li>
  <li>对于不完整的数据，例如一些应该有的信息缺失，如信息缺失、主表与明细表不能匹配等，应进行数据（<a>清洗</a>）。</li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li>-------------------------------------------------------------</li>
  <li>聚焦网络爬虫爬行页面的顺序要求相对较低。<a er>错</a></li>
  <li>聚焦网络爬虫数量非常多，页面更新慢。<a er>错</a></li>
  <li>增量式爬虫不需要评价网页内容的重要性。<a er>错</a></li>
  <li>目前超过一半的网页浏览量都由实际的用户贡献。<a er>错</a></li>
  <li>深层网页（Deep Web）的内容课通过静态链接获取。<a er>错</a></li>
  <li>深度优先策略不足之处在于需较长时间才能爬行到目录层次较深的页面。<a er>错</a></li>
  <li>广度优先策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。<a>对</a></li>
  <li>网络爬虫总是要从某个起点开始爬，这个起点叫做种子。<a>对</a></li>
  <li>深度优先策略的基本方法是按照深度由低到高的顺序，依次访问下一级网页链接。<a>对</a></li>
  <li>网络爬虫被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式 。<a>对</a></li>
  <li>HTTP请求的TRACE 方法请求服务器回送收到的请求信息，主要用于测试或诊断。<a>对</a></li>
  <li>HTTP请求的HEAD方法 请求获取由Request-URI所标识的资源的响应消息报头。<a>对</a></li>
  <li>通用网络爬虫通常采用并行工作方式，但需要较长时间才能刷新一次页面。<a>对</a></li>
  <li>--------------------------------------------------------------</li>
  <li>数据的预处理ETL的表示（<a>E=抽取, T=转换, L=加载</a>）。</li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
  <li></li>
</ol>




</body>
</html>